本文提出了一个新颖的框架,以根据权威的睡眠医学指导自动捕获人睡眠的脑电图(EEG)信号的时间频率。该框架由两个部分组成:第一部分通过将输入EEG频谱图将其划分为一系列时频贴片来提取信息特征。第二部分是由基于注意力的体系结构有效地搜索分配的时频贴片和并行睡眠阶段定义因素之间的相关性构成的。拟议的管道在Sleep Heart Health研究数据集上进行了验证,其阶段唤醒,N2和N3的新最新结果获得了相应的F1分数为0.93、0.88和0.87,仅使用EEG信号。该提出的方法还具有高评分者间可靠性为0.80 kappa。我们还可以看到睡眠分期决策与提出方法提取的特征之间的对应关系,为我们的模型提供了强大的解释性。
translated by 谷歌翻译
IR models using a pretrained language model significantly outperform lexical approaches like BM25. In particular, SPLADE, which encodes texts to sparse vectors, is an effective model for practical use because it shows robustness to out-of-domain datasets. However, SPLADE still struggles with exact matching of low-frequency words in training data. In addition, domain shifts in vocabulary and word frequencies deteriorate the IR performance of SPLADE. Because supervision data are scarce in the target domain, addressing the domain shifts without supervision data is necessary. This paper proposes an unsupervised domain adaptation method by filling vocabulary and word-frequency gaps. First, we expand a vocabulary and execute continual pretraining with a masked language model on a corpus of the target domain. Then, we multiply SPLADE-encoded sparse vectors by inverse document frequency weights to consider the importance of documents with lowfrequency words. We conducted experiments using our method on datasets with a large vocabulary gap from a source domain. We show that our method outperforms the present stateof-the-art domain adaptation method. In addition, our method achieves state-of-the-art results, combined with BM25.
translated by 谷歌翻译
本文提出了一种基于凸优化的新型高空间分辨率高光谱(HR-HS)图像估计方法。该方法假定空间分辨率HS(LR-HS)图像和指南图像作为观测值,其中两个观察结果都被噪声污染。我们的方法同时估算了HR-HS图像和无噪声指南图像,因此该方法即使被大噪声污染了指南图像中的空间信息也可以利用空间信息。提出的估计问题通过正则化采用混合空间 - 光谱总变化,并评估HR-HS和指南图像之间的边缘相似性,以有效地在指南图像中对HR-HS图像和空间细节信息有效地使用APRIORI知识。为了有效地解决该问题,我们采用了一种原始的二重分裂方法。实验证明了我们的方法的性能以及对几种现有方法的优势。
translated by 谷歌翻译
非自动回旋(NAR)模型的计算能力比自回归模型较少,但牺牲生成质量可以生成句子。先前的研究通过迭代解码解决了这个问题。这项研究建议将最近的邻居用作NAR解码器的初始状态,并迭代编辑。我们提出了一种新颖的培训策略,以了解有关邻居的编辑操作,以改善NAR文本生成。实验结果表明,所提出的方法(邻域)在JRC-ACQUISIE EN-DE DATASET上获得了更高的翻译质量(比香草变压器高1.69点(比香草变压器高1.69点),而解码迭代率较少(少于十分之一)使用最近的邻居翻译。我们还确认了所提出的方法对数据到文本任务(Wikibio)的有效性。此外,所提出的方法在WMT'14 EN-DE数据集上优于NAR基线。我们还报告了建议方法中使用的邻居示例的分析。
translated by 谷歌翻译
变压器的令人印象深刻的性能归因于自我注意力,在每个位置都考虑了整个输入之间的依赖性。在这项工作中,我们改革了神经$ n $ gram模型,该模型仅着眼于每个位置的几个周围表示,其多头机制如Vaswani等人(2017年)。通过对序列到序列任务的实验,我们表明,用多头神经$ n $ gram在变压器中替换自我注意力可以比变压器实现可比性或更好的性能。从对我们提出的方法的各种分析中,我们发现多头神经$ n $ gram是互补的,它们的组合可以进一步提高香草变压器的性能。
translated by 谷歌翻译
空间谱总变化(SSTV)模型已被广泛用作高光谱图像(HSI)的有效正规化,用于各种应用,例如混合噪声去除。但是,由于SSTV统一地计算局部空间差异,因此很难消除噪声,同时保留具有细边和纹理的复杂空间结构,尤其是在高噪声强度的情况下。为了解决这个问题,我们提出了一种称为Graph-SSTV(GSSTV)的新电视型正则化,该图从噪声HSIS明确反映了目标HSI的空间结构,并结合了基于此图的加权空间差异操作员。此外,我们将混合噪声删除问题作为涉及GSSTV的凸优化问题,并基于原始的双重分裂方法开发有效的算法来解决此问题。最后,我们通过消除混合噪声的实验与现有的HSI正则化模型相比,证明了GSSTV的有效性。源代码将在https://www.mdi.c.titech.ac.ac.jp/publications/gsstv上找到。
translated by 谷歌翻译
我们介绍了时间多模式的多模式学习,这是一个新的决策模型系列,可以间接学习和传输在线信息,同时观察一个概率分布,该概率分布有一个以上的峰值或一个以上的结果变量,从一个时间阶段到另一个时间阶段。我们通过基于数据生理学驱动的相关性依次删除不同变量和时间之间的其他不确定性来近似后部,以解决不确定性下的更广泛的挑战性时间依赖性决策问题。对现实世界数据集的广泛实验(即,城市交通数据和飓风整体预测数据)证明了拟议的有针对性决策的卓越性能,而不是各种设置的最先进的基线预测方法。
translated by 谷歌翻译
我们研究了掩盖语言模型(MLMS)的任务无关内在和特定于任务的外在社会偏见评估措施之间的关系,并发现这两种评估措施之间仅存在弱相关性。此外,我们发现在下游任务进行微调期间,使用不同方法的MLMS DEBIAS进行了重新划分。我们确定两个培训实例中的社会偏见及其分配的标签是内在偏见评估测量值之间差异的原因。总体而言,我们的发现突出了现有的MLM偏见评估措施的局限性,并提出了使用这些措施在下游应用程序中部署MLM的担忧。
translated by 谷歌翻译
在语音交流中,如何说某物(副语言信息)与所说的(语言信息)至关重要。作为一种副语言信息,英语语音使用句子压力,这是句子中最重的突出,以传达重点。尽管句子压力的不同放置会传达出不同的强调含义,但如果话语在语言上相同,丢失了副语言信息,那么当前的语音翻译系统会返回相同的翻译。专注于重点,一种重点,我们建议使用词汇和语法设备将副语言信息映射到源语言中的语言领域。此方法使我们能够翻译释义的文本表示,而不是原始语音的转录,并获得保留副语言信息的翻译。作为第一步,我们介绍了一个英语语料库的集合,其中包含语音,该语音在焦点的放置以及相应的文本中不同,该文本旨在反映演讲的隐含含义。同样,对我们的语料库的分析表明,从副语言领域映射到语言领域涉及各种词汇和语法方法。我们分析的数据和见解将进一步提高对副语言翻译的研究。该语料库将通过最不发达国家和我们的网站发布。
translated by 谷歌翻译
逻辑自然语言生成,即生成可以由结构化表所需的文本描述,这是由于生成的低保真度导致的挑战。 CiteT {Chen2020Logic2Text}通过注释临时逻辑程序来控制生成内容和语义来解决此问题,并将表感知逻辑表单的任务呈现给文本(logic2text)生成。然而,虽然表实例在现实世界中丰富,但与文本描述配对的逻辑形式需要昂贵的人类注释工作,这限制了神经模型的性能。为了缓解此方法,我们提出了主题条件的数据增强(主题D),它利用GPT-2直接从表中生成未配对的逻辑表单和文本描述。我们进一步引入了逻辑表单生成(LG),Logic2Text的双重任务,要求基于表的文本描述生成有效的逻辑表单。我们还提出了一种半监督的学习方法,共同列车,并使用标记和增强数据共同列车和LG模型。通过回平翻译,这两个模型通过提供额外的监督信号来互相受益。 LOGIC2TEXT数据集的实验结果和LG任务表明,我们的方法可以通过大幅保证金有效地利用增强数据和优于监督的基线。
translated by 谷歌翻译